오픈 가중치(open-weight) 모델들을 단일 모델처럼 묶어 하나의 AI 시스템으로 운영하는 새로운 접근법이 공개됐습니다. 요청마다 참여할 모델과 연산량을 동적으로 할당하는 방식으로, 강력한 단일 모델 대비 추론 비용을 3분의 1로 줄이면서도 동등한 성능을 달성하는 실무적 의미가 큽니다.
AI 코딩 에이전트 및 복잡한 워크플로우에서 비용과 성능을 최적화하기 위한 '모델 라우팅'의 핵심 원칙을 다룬 글입니다. 단순히 여러 최신 모델을 섞어 쓰는 것보다 속도, 품질, 비용 측면에서 명확한 차별점이 있는 소수의 모델을 두고, 실제 작업 환경 기반의 벤치마크와 과거 데이터를 활용해 라우팅해야 한다고 강조합니다.
AI 모델 라우팅 플랫폼인 오픈라우터(OpenRouter)가 알파벳의 CapitalG와 엔비디아의 NVentures 등으로부터 1억 1,300만 달러(약 1,500억 원) 규모의 시리즈 B 투자를 유치했습니다. 이번 투자에는 주요 빅테크 기업들의 벤처 투자사들이 대거 참여하며, 단일 모델에서 멀티모델 기반의 프로덕션 환경으로 전환되는 AI 시장에서 모델 라우팅 및 게이트웨이 계층의 중요성이 크게 부각되는 계기가 되었습니다. 오픈라우터는 최근 6개월간 주간 토큰 처리량이 5조 개에서 25조 개로 급증했으며, 이번 자금을 바탕으로 인프라 확장과 기업용 기능 고도화를 진행할 계획입니다.